Advanced Science：自供电传感内储备池计算的机器视觉

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

在传统的机器视觉系统中，物理上分离的传感、内存和处理单元导致了大量的能量耗费和时间延迟，严重限制了其在无人驾驶、机器人和工业制造等实时信息处理场景的应用。此外，物联网的高速发展和日益增加的图像分辨率需求带来视觉信息的爆炸式增长，解决处理繁杂视觉过程中伴随的巨大能耗问题变得尤为迫切。自供电的光电传感器件以及基于光电传感器件的传感内计算类脑视觉系统提供了一种有效的解决方案。

诸多的神经网络训练算法中，储备池计算（Reservoir Computing）将信号时序地转换到高维空间，继而可以通过简单线性回归有效地提取输入信号的特征。相对于其他神经网络算法，储备池计算只需要训练输出层权重，有效地降低了训练复杂度和训练时间，更有利于超高速和超低功耗的信息处理。然而，由于自供电光电器件的信号响应通常在时序上的耦合较弱，基于自供电光电传感器件的传感内储备池计算至今尚未实现。

图1：传统机器视觉与传感内计算类脑视觉

基于上述背景，华东师范大学田博博研究员、彭晖教授和段纯刚教授团队通过在肖特基势垒中设计势阱的方式大大延长了光生载流子在空间电荷区的停留时间，导致器件光电流对时序的光信号刺激产生非常强和高效的非线性耦合。实现了基于光生伏特效应的自供电光电传感器的传感内储备池计算。在基于该自供电传感器阵列的传感内储备池计算视觉系统中成功演示了静态人脸图像分类和动态车流方向判别的视觉信息处理任务，分别达到了高达99.97%和100%的识别率。该成果以“Ultralow-Power Machine Vision with Self-Powered Sensor Reservoir”为题发表在Advanced Science上。

研究人员设计Cs₂AgBiBr₆无铅双钙钛矿与铁电聚合物相结合的光生伏特机制的传感器件，该器件不仅可以直接接收光信号，并且可以同时模拟人脑视觉系统中光感受器和突触的功能(图2)。通过在肖特基势垒中设计势阱的方式大大延长了光生载流子在空间电荷区的停留时间，使得器件光电流对时序的光信号刺激产生非常强和高效的非线性耦合(图2g)。这种耦合作用使该自供电光突触器件可以应用为感内储备池器件，直接将时序光信号转为更高维度信息，然后通过简单的矩阵乘硬件获取原光信号中的特征信息。此外，通过改变铁电极化取向，调节能量势阱的形状，可以调节时序信号响应之间的耦合强度（图2h），这使该类型器件也有潜力应用于基于可调节权值实施模拟运算的卷积感存算一体化硬件。

研制的自供电光突触器件在445 nm的光脉冲刺激下可以实现多种脉冲相关的突触功能，例如双脉冲易化（PPF）、脉冲频率依赖可塑性（SRDP）和脉冲数量依赖可塑性（SNDP）等（图3）。通过对28个器件的重复性测试，发现器件有较好的均匀性和鲁棒性（图3h）。

图2：Cs₂AgBiBr₆无铅双钙钛矿与铁电聚合物相结合的光生伏特型自供电突触器件。

图3：Cs₂AgBiBr₆自供电光突触器件的性能表征。

储备池（RC）运算是一种简单、高效的类脑算法，适用于时序信号的处理。只需训练储备池与输出层之间输出连接的权重，大大降低了类脑神经网络的训练成本。通过将空间像素信息编码为时序光信号，我们将基于Cs₂AgBiBr₆自供电光突触器件阵列的感内储备池系统应用于图像处理（图4）。例如，对28列×35行像素的灰度人脸图像进行识别。将人脸图像中每一列的35个像素编码为时序光信号u_i (t)后输入到对应的光储备池器件，可以获得分别蕴含了一整列像素信息的28个输出值（图4d），后面只需要28×n权值的线性回归忆阻阵列就可以实现对n个人脸图像的识别任务。

图4：基于Cs₂AgBiBr₆自供电光突触器件的感内储备池计算应用于图像处理的原理流程图。

图5：传感内储备池计算视觉系统演示了静态人脸图像分类，识别率高达99.97 %。

本论文中演示了对4位作者灰度头像(28×35像素)的识别任务（图5）。经过30次训练，10000次测试显示该传感内储备池计算视觉对4个静态人脸图像分类的识别率高达99.97 %。

此外，我们将传感内储备池计算直接应用于时序视频信号的处理。如图6a和6b所示，5×5的自供电光突触器件阵列组成的储备池层用来映射采集十字路口汽车的运动信息。不同的汽车走向自然的产生相应时序光信号输入到该储备池层，进而实现传感内储备池计算对视频信号的处理。经过24个训练阶段后，识别率达到100%（图6）。

图6：传感内储备池计算视觉系统演示了动态车流方向判别的视觉处理任务，识别率高达100%。

此项研究工作为基于自供电光电传感器进行时序信号处理提供了解决方案，将自供电光电器件应用于传感内储备池计算，大大降低了视觉信息处理的操作能耗。此方法为实现更有效的类脑机器视觉提供了新途径。华东师范大学电子科学系博士生劳婕和闫梦阁为文章的共同第一作者，华东师范大学极化材料与器件教育部重点实验室田博博研究员、彭晖教授和段纯刚教授为文章的通讯作者。

该项研究得到了国家自然科学基金、之江实验室开放课题、上海市科技创新行动计划和华东师范大学“双一流”人才团队平台项目的资助。

论文信息：

Jie Lao, Mengge Yan, BoboTian*, Chunli Jiang, Chunhua Luo, Zhuozhuang Xie, Qiuxiang Zhu, Zhiqiang Bao,Ni Zhong, Xiaodong Tang, Linfeng Sun, Guangjian Wu, Jianlu Wang, Hui Peng*,Junhao Chu and Chungang Duan* “Ultralow-power machine vision with self-poweredsensor reservoir”, Advanced Science, 202106092, 2022.

论文链接：

https://onlinelibrary.wiley.com/doi/10.1002/advs.202106092

点击下方知社人才广场，查看最新学术招聘

扩展阅读

 

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方